#Pretraining Efficiency

4 篇

How to Loop MoE: Flatten the Experts, Untie the Attention

如何循环 MoE：摊平专家层、解开注意力

🧭 Looped MoE 架构训练与专家路由 ★ 深度解读

Case Western Reserve University · Kyoto University · NII LLMC

Foil 在固定专家参数与每 token 计算下，通过摊平专家层并给每次循环独立注意力，提升 looped MoE 预训练与路由健康度

📌 工作参考价值（4 点）

在固定 expert 参数和每 token 计算预算下，优先采用“浅而宽 + 多轮循环”的 recurrent core，而不是深而窄：把现有 MoE 层合并到更少层、增加每层 expert 数并循环更多次，同等成本通常能拿到更低 LM loss 和更健康路由。
循环 block 中不要全程共享 attention：给每个 loop pass 单独 attention 参数，experts/router 继续共享；这几乎不增加推理 compute，但能恢复摊平时丢掉的 attention 参数，训练损失和 zero-shot 均更优。
监控 MoE 路由不能只看 load balance：可加 MMR（router 第一名 vs 池中位数概率比）和 per-pass MMR peak；MMR 见顶后继续 flatten/循环收益最弱，适合做架构搜索早停或上线前诊断。
做小规模架构 ablation 时，可先用 tied attention 探索循环轮数，因为加 passes 不增加参数；但最终生产配置应切换为 per-pass attention。低流量 expert 不等于无用，不要仅按流量直接裁剪。

Training | 2026-09-28 | cs.LG | score 8/10

NCP-ArchPreview Technical Report: Moving towards Latent Space Language Models through Next Concept Prediction

通过下一概念预测迈向隐空间语言模型

🧭 下一概念预测 · 隐空间语言模型

Shanghai AI Lab · LUMIA Lab, Shanghai Jiao Tong University

在 8.9B 参数规模验证 NTP 与 Next Concept Prediction 联合训练，用 51.3% tokens 达到 OLMo-3-7B 最终 loss

📌 工作参考价值（4 点）

将 product quantization 作用于 hidden states 构建离散概念 vocab，可类比生成式推荐里的 Semantic ID，对 item/category/query 做多粒度 token-context 联合建模，让 LLM 在生成物品或搜索词时既有 token 级流畅度又有概念级语义约束。
只更新 17M 的 VQ module 即可实现域适配，适合电商多品类、多场景快速切换：固定底座，仅调整 codebook/概念映射，省去全参微调，便于线上迭代和 A/B 测试。
把 concept representations 注入 draft model 做投机解码，mean accepted length 提升 4.17% 且开销可忽略；在 Agent 工具调用、推荐理由生成等长文本输出场景可低成本加速推理。
联合 NTP + NCP 在同等算力下逼近或超过更强 baseline，提示大模型底座或领域微调时可加入概念级辅助目标，提升样本效率和 downstream 指标。

Training | 2026-09-08 | HF Daily | score 7/10

Next Concept Prediction Latent Space LM Product Quantization Pretraining Efficiency Speculative Decoding Domain Adaptation

The State-Prediction Separation Hypothesis

状态-预测分离假说

🧭 Transformer 架构改进 · 预训练效率

Cornell University · Harvard University

分离 Transformer 中的状态存储和下一 token 预测功能，显著提升语言模型预训练效率和下游表现。

📌 工作参考价值（3 点）

用户行为序列建模（如点击序列）可借鉴双流设计：显式分离长期兴趣状态的存储和短期行为预测，可能提升数据效率和下游任务表现。
对于生成式推荐模型（用 LLM 生成 Semantic ID），分离持久状态与瞬时预测流可改善生成质量并加速收敛。
在预训练大型序列模型时，可尝试引入状态-预测分离，以更少的计算和 token 预算获得更强的表征，再微调至搜索/推荐任务。

Training | 2026-06-30 | HF Daily | score 7/10

State-Prediction Separation Transformer Architecture Pretraining Efficiency Language Modeling Dual-Stream

AC-ODM: Actor--Critic Online Data Mixing for Sample-Efficient LLM Pretraining

AC-ODM：基于Actor-Critic的LLM预训练在线数据混合

🧭 RL指导预训练数据混合 · Actor-Critic

BRAIN, Renmin University of China · Shanghai Jiaotong University · Shanghai Artificial Intelligence Laboratory · China Electronics Technology Group Corporation 15th Research Institute · LiblibAI

提出轻量Actor-Critic在线调控领域采样权重，最大化梯度建设性干涉，大幅加速预训练并提升下游表现

📌 工作参考价值（4 点）

动态数据采样策略可迁移至推荐模型训练：在多任务/多领域推荐场景中，常需平衡样本配比，AC-ODM的在线Actor-Critic框架可以低开销地学习每步采样权重，替换静态或启发式配比，提升训练效率。
Proxy模式节省大规模训练成本：先在小规模模型上训练数据混合策略，再外推到大模型，适用于电商搜索推荐中从蒸馏模型到全量模型的迭代过程，避免直接在大模型上试错。
极低工程开销：每步仅增加0.4%计算和2%显存，几乎不影响吞吐，可直接嵌入现有分布式训练管线，适合对训练延迟敏感的业务。
最大化梯度建设性干涉的思想可泛化：该文理论证明策略等价于线性代理优化梯度干扰，这一思想可借鉴到多任务推荐中的损失加权或正负样本均衡，减少有害梯度冲突。

Training | 2026-06-13 | HF Daily | score 7/10

Data Mixing Actor-Critic Reinforcement Learning Pretraining Efficiency LLM